課程資訊
課程名稱
系統研究專題
Advanced Topics in Systems Research 
開課學期
106-2 
授課對象
電機資訊學院  資訊網路與多媒體研究所  
授課教師
洪士灝 
課號
CSIE7317 
課程識別碼
922 U4060 
班次
 
學分
3.0 
全/半年
半年 
必/選修
選修 
上課時間
星期一7,8,9(14:20~17:20) 
上課地點
資105 
備註
總人數上限:50人 
Ceiba 課程網頁
http://ceiba.ntu.edu.tw/1062CSIE7317_ 
課程簡介影片
 
核心能力關聯
核心能力與課程規劃關聯圖
課程大綱
為確保您我的權利,請尊重智慧財產權及不得非法影印
課程概述

這學期課程將著重於高效能運算(HPC)與人工智慧(AI)系統平台技術,討論影響效能的軟硬體因素,以及探究未來的趨勢與挑戰。課程中將教導學生HPC與AI系統研究所需具備的進階知識、研究工具、以及研究方法,包括多核心系統、虛擬化技術、平行處理、異質計算、可重組計算等最新的平台,如何運用效能與能耗量測工具等快速有效地建構實驗環境、分析系統運作狀況,並且透過期末專題學習從事系統研究的方法。

傳統的HPC以解決重要的科學與工程問題為主,但如今的HPC已被投入於各種與民生和商業用途,例如精準醫療、大數據分析、商業智能等,成為各行各業創新的利器。尤其在AI與深度學習的應用上,設計複雜的人工神經網路模型,並且以大數據反覆訓練,需要消耗非常多的計算資源,往往需要HPC來大幅縮短所需時間,因此近年來HPC結合深度學習應用的發展極為迅速可觀,可謂百花齊放。GPU雖然是時下熱門的解決方案,但專為特定人工智慧應用打造的ASIC,或是隨時可根據應用特性變換電路結構的FPGA,具有低能耗的優勢,符合需要低功率的行動裝置或是希望節省用電成本的資料中心的需求。然而,如何從應用面出發,選擇最合適的加速器,同時優化人工智慧軟體框架對應用與加速器的效率,則是在設計與佈署人工智慧系統的關鍵技術。 

課程目標
本課程的目標在於讓修課學生學習如何進行系統研究:
- 增長知識:學習系統研究所需具備的進階知識
- 自我學習:閱讀、蒐集、整理近年與系統研究相關的學術論文
- 實務研究:學習運用效能與能耗量測工具分析系統運作狀況
- 研究方法:以期末專題讓學生體驗系統研究的方法,包括提出構想、建構實驗環境、蒐集實驗數據、評估構想、撰寫報告。

本年度著重主題:
- 人工智慧與深度學習系統
- 深度學習加速器之設計
- 分散式深度學習訓練

與其他課程不同,我們從系統研究的角度探索人工智慧與深度學習系統:
- 人工智慧系統研究之現況與挑戰
- 加速深度學習系統的關鍵一:平行與分散式計算架構
- 加速深度學習系統的關鍵二:異質與可重組計算系統
- 研究複雜系統工具的關鍵:效能與能耗量測工具之原理與運用

課程中包括
- 課堂授課
- 線上課程
- 實驗模組
- 進階系統論文研讀
- 期末專題(提案、進度討論、展示、研究報告)
 
課程要求
先修課程:計算機結構,作業系統。
必要技能: C程式語言,使用Linux作業系統與工具
在修課期間內,有時間完成指定的作業,願意與同學合作完成期末專題 
預期每週課後學習時數
 
Office Hours
另約時間 
指定閱讀
TBA 
參考書目
TBA 
評量方式
(僅供參考)
 
No.
項目
百分比
說明
1. 
Participation/Quiz 
20% 
 
2. 
Final Project 
30% 
 
3. 
Exercises 
50% 
 
 
課程進度
週次
日期
單元主題
第01週
02/26  Introduction to Systems Research for HPC and AI

https://www.youtube.com/watch?v=R_wn6GizCms 
第02週
03/05  What is systems research? How to do systems research? 
第03週
03/12  Open Source Software for HPC and AI.  
第04週
03/19  Performance Issues in Complex Systems 
第05週
03/26  Tutorial on AI Systems 
第06週
04/02  Vacation 
第07週
04/09  Landscape of Parallel Computing 
第08週
04/16  Virtualization and Cloud Computing 
第09週
04/23  Big Data Processing Systems 
第10週
04/30  Accelerating Deep Learning 
第11週
05/07  Paper Discussions - HPC Systems 
第12週
05/14  Paper Discussions - AI Systems 
第13週
05/21  Final Project Proposal 
第14週
05/28  Invited Industrial Talk #1 
第15週
06/04  Invited Industrial Talk #2 
第16週
06/11  Final Project Discussions 
第17週
06/18  Vacation 
第18週
06/25  Final Project Demo 
第19週
07/02  Final Project Report Due